Ông sinh ngày 1 tháng 3 năm 1912 tại làng Tùng Ảnh, huyện Đức Thọ, tỉnh Hà Tĩnh. Cha của ông là nhà nho Phan Điện. Ông còn có một người em ruột là Phan Mỹ cũng là một luật sư (về sau là Bộ trưởng, Chủ nhiệm Văn phòng Phủ Thủ tướng).

Mồ côi mẹ từ năm 10 tuổi, ông cùng với người em theo cha lưu lạc khắp nơi. Tuy sống cực khổ, nhưng được sự giáo dục của cha, cả hai anh em ông đều học giỏi. Năm 1926, ông giành được suất học bổng nội trú của Trường Bưởi, Hà Nội.

Sau khi tốt nghiệp Tú tài, ông theo học ngành Luật tại Trường Đại học Đông Dương, Hà Nội. Trong thời gian theo học ở đây, ông tham gia hoạt động xã hội, là Chủ tịch Tổng hội Sinh viên vào Đảng Xã hội Pháp. Vừa học, ông vừa tham gia dạy học ở trường Gia Long và trường Thăng Long.

Năm 1937, ông tốt nghiệp Cử nhân Luật ở vị trí thứ 2. Năm 1938, ông sang Pháp để trình luận án Tiến sĩ Luật, nhưng Chiến tranh thế giới thứ hai bùng nổ nên ông không kịp bảo vệ luận án và phải về nước năm 1940, hành nghề luật sư tại văn phòng của luật sư Bùi Tường Chiểu.